Have we been Naive to Select Machine Learning Models? Noisy Data are here to Stay!

The model selection procedure is usually a single-criterion decision making in which we select the model that maximizes a specific metric in a specific set, such as the Validation set performance. We claim this is very naive and can perform poor selections of over-fitted models due to the over-searching phenomenon, which over-estimates the performance on that specific set. Futhermore, real world data contains noise that should not be ignored by the model selection procedure and must be taken into account when performing model selection. Also, we have defined four theoretical optimality conditions that we can pursue to better select the models and analyze them by using a multi-criteria decision-making algorithm (TOPSIS) that considers proxies to the optimality conditions to select reasonable models

Is the algorithm used to process heart rate variability data clinically relevant? Analysis in male adolescents

OBJECTIVE: To analyze whether the algorithm used for the heart rate variability assessment (fast Fourier transform versus autoregressive methods) influenced its association with cardiovascular risk factors in male adolescents. METHODS: This cross-sectional study included 1,152 male adolescents (aged 14 to 19 years). The low frequency, high frequency components (absolute numbers and normalized units), low frequency/high frequency ratio, and total power of heart rate variability parameters were obtained using the fast Fourier transform and autoregressive methods, while the adolescents were resting in a supine position. RESULTS: All heart rate variability parameters calculated from both methods were different (p<0.05). However, a low effect size (<0.1) was found for all parameters. The intra-class correlation between methods ranged from 0.96 to 0.99, whereas the variation coefficient ranged from 7.4 to 14.8%. Furthermore, waist circumference was negatively associated with high frequency, and positively associated with low frequency and sympatovagal balance (p<0.001 for both fast Fourier transform and autoregressive methods in all associations). Systolic blood pressure was negatively associated with total power and high frequency, whereas it was positively associated with low frequency and sympatovagal balance (p<0.001 for both fast Fourier transform and autoregressive methods in all associations). Body mass index was negatively associated with high frequency, while it was positively associated with low frequency and sympatovagal balance (p values ranged from <0.001 to 0.007). CONCLUSION: There are significant differences in heart rate variability parameters obtained with the fast Fourier transform and autoregressive methods in male adolescent; however, these differences are not clinically significant. OBJETIVO: Analisar se o algoritmo usado para avaliação da variabilidade da frequência cardíaca (transformada rápida de Fourier versus autoregressivo) influencia em sua associação com fatores de risco cardiovascular adolescentes do gênero masculino. MÉTODOS: Estudo transversal, que incluiu 1.152 adolescentes do gênero masculino (14 a 19 anos). Componentes de baixa e alta frequência (absolutos e unidades normalizadas), razão componente de baixa frequência/componente de alta frequência e poder total da variabilidade da frequência cardíaca foram obtidos em repouso, na posição supina, usando os métodos transformada rápida de Fourier e autorregressivo. RESULTADOS: Todos os parâmetros da variabilidade da frequência cardíaca para ambos os métodos foram diferentes (p<0,05). Entretanto, um pequeno tamanho do efeito (<0,1) foi observado para todos os parâmetros. Os coeficientes de correlação intraclasse entre os métodos variaram de 0,96 a 0,99, enquanto os coeficientes de variação foram de 7,4 a 14,8%. A circunferência abdominal foi negativamente associada com o componente de alta frequência, e positivamente associada com o componente de baixa frequência e o balanço simpatovagal (p<0,001 para a transformada rápida de Fourier e o autorregressivo em todas as associações). A pressão arterial sistólica foi negativamente associada com o poder total e o componente de alta frequência, enquanto foi positivamente associada com o componente de baixa frequência e o balanço simpatovagal (p<0,001 para a transformada rápida de Fourier e o autorregressivo em todas as associações). O índice de massa corporal foi negativamente associado com o componente de alta frequência, enquanto foi positivamente associado com o componente de baixa frequência e o balanço simpatovagal (valores de p variando de <0,001 a 0,007). CONCLUSÃO: Houve diferenças significantes nos parâmetros da variabilidade da frequência cardíaca obtidos com os métodos transformada rápida de Fourier e autorregressivo em adolescentes masculinos, mas essas diferenças não foram clinicamente significativas